iT邦幫忙

gradient checkpointing相關文章
共有 1 則文章
1 Like 0 留言 664 瀏覽
鐵人賽 AI & Data DAY 26
LLM 學習筆記 系列 第 26 篇

技術 LLM Note Day 26 - Gradient Checkpointing

簡介 當訓練資料的長度越長，需要的 GPU 記憶體就會越高，因為算出來的梯度會跟著變大。透過 Gradient Checkpointing 可以幫助我們減少梯度...

大歐派蘿莉 ‧ 2023-10-11 ‧團隊消波塊上的海洋貓貓
iThome鐵人賽
參賽組數
1123 組
團體組數
52 組
累計文章數
23068 篇
完賽人數
656 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 2018鐵人賽 javascript 2017鐵人賽 python windows php c# windows server linux css react 程式設計 vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙